Analyse des collectivités présentes sur data.gouv.fr

Voir le code pour croiser, préparer et nettoyer les données

Communes

# Charger les données depuis les fichiers CSV
df_siret <- read_csv2("data/siret.csv")
df_datagouv <- read_csv2("data/datagouv.csv")

# Fusionner les données sur l'identifiant 'siret'
result <- left_join(df_siret, df_datagouv, by = "siret")

# Corriger les codes postaux et codes insee
format_code <- function(code) {
  ifelse(!is.na(suppressWarnings(as.numeric(code))), sprintf("%05d", as.integer(code)), code)
}

result$`Code postal de l'établissement` <- sapply(result$`Code postal de l'établissement`, format_code)
result$`Code commune de l'établissement` <- sapply(result$`Code commune de l'établissement`, format_code)

# Filtrer les données pour garder seulement 'Commune et commune nouvelle'
filtered_result <- result %>%
  filter(`Nature juridique de l'unité légale` == "Commune et commune nouvelle")

# Séparer les communes non doublonées (une seule occurence de code insee)
communes_simples <- filtered_result %>%
  group_by(`Code commune de l'établissement`) %>%
  filter(n() == 1) %>%
  ungroup()

# Filtrer les communes en doublons en ne gardant que celles qui publient sur data.gouv.fr (metric.dataset >= 1)
communes_multiples_cleaned <- filtered_result %>%
  group_by(`Code commune de l'établissement`) %>%
  filter(n() > 1 & metric.datasets >= 1) %>%
  ungroup()

# Réintégration des communes non doublonées
result_final <- bind_rows(communes_simples, communes_multiples_cleaned)

# Sauvegarder le résultat dans un nouveau fichier CSV
write_csv(result_final, "data/enriched_siret.csv")

# Affichage du nombre de lignes après nettoyage
print(paste("Nombre de lignes après nettoyage :", nrow(result_final)))

## [1] "Nombre de lignes après nettoyage : 33012"

# Ajout des données population communale

donnees_communes <- read_csv2("data/donnees_communes.csv") %>%
  select(COM, PTOT)

communes <- left_join(result_final, donnees_communes, by = c("Code commune de l'établissement" = "COM"))

communes <- communes %>%
  rename(code_epci = `Code EPCI de l'établissement`)



# Sauvegarde du CSV
write_csv(communes, "data/communes.csv")

library(readr)
library(ggplot2)
library(dplyr)

# Charger le fichier de données
data <- read_csv("data/communes+siret+metrics+pop.csv")

# Nettoyage
data <- data %>%
  rename(
    unite_legale = `Dénomination de l'unité légale`,
    PTOT = PTOT,  
    metric.datasets = metric.datasets 
  )

# 50 communes les plus peuplées
top_50_communes <- data %>%
  arrange(desc(PTOT)) %>%  
  slice_head(n = 50)

# Visualisation

ggplot(top_50_communes, aes(x = reorder(unite_legale, PTOT), y = metric.datasets)) +
  geom_bar(stat = "identity", fill = "steelblue") +
  coord_flip() +
  theme_minimal() +
  labs(
    title = "Nombre de datasets des 50 communes les plus peuplées",
    x = "Commune",
    y = "datasets"
  ) +
  theme(
    axis.text.y = element_text(size = 4), 
    plot.title = element_text(hjust = 0.5)
  )

## EPCI

library(dplyr)

# Filtrer les données EPCI et supprimer les doublons
epci <- result %>%
  filter(`Nature juridique de l'unité légale` %in% c(
    "Communauté de communes",
    "Communauté d'agglomération",
    "Métropole",
    "Communauté urbaine"
  )) %>%
  rename(code_epci = `Code EPCI de l'établissement`) %>%
  distinct(code_epci, .keep_all = TRUE) %>% 
  mutate(code_epci = trimws(as.character(code_epci)))  

# Traitement et nettoyage

communes <- communes %>%
  mutate(code_epci = as.character(code_epci))

epci <- epci %>%
  mutate(code_epci = as.character(code_epci))

communes <- communes %>%
  mutate(code_epci = trimws(code_epci))

epci <- epci %>%
  mutate(code_epci = trimws(code_epci))

communes <- communes %>%
  filter(!is.na(code_epci))

# Joindre les tables EPCI et communes

communes_epci <- communes %>%
  left_join(
    epci %>% select(code_epci, metric.datasets, metric.datasets.epci = metric.datasets), 
    by = "code_epci"
  )

# Ajouter les informations EPCI

communes_epci <- communes_epci %>%
  mutate(
    epci_present = ifelse(!is.na(metric.datasets) & metric.datasets > 0, "oui", "non"),
    epci_datasets = ifelse(epci_present == "oui", metric.datasets, NA)
  ) %>%
  select(-metric.datasets)

write_csv(communes_epci, "data/communes_epci_brut.csv")

# Charger les données de géolocalisation
geoloc_data <- read_csv2("data/geoloc.csv", show_col_types = FALSE)

# Une fois que tu as vérifié, renomme la colonne "SIRET" si elle existe
geoloc_data <- geoloc_data %>%
  rename(siret = `SIRET du siège de l'unité légale`)

geoloc_data <- geoloc_data %>%
  distinct(siret, .keep_all = TRUE)  # Conserve uniquement la première occurrence pour chaque siret

# Joindre les données de géolocalisation avec communes_epci en utilisant le "siret" comme clé de jointure
communes_epci_geoloc <- communes_epci %>%
  left_join(geoloc_data %>% select(siret, `Géolocalisation de l'établissement`), by = "siret")


# Sauvegarder le CSV final avec la géolocalisation ajoutée
write_csv(communes_epci_geoloc, "data/communes_epci_geoloc.csv")